Human evaluation is the foundation upon which the evaluation of both summarization systems and automatic metrics rests. However, existing human evaluation protocols and benchmarks for summarization either exhibit low inter-annotator agreement or lack the scale needed to draw statistically significant conclusions, and an in-depth analysis of human evaluation is lacking. In this work, we address the shortcomings of existing summarization evaluation along the following axes: 1) We propose a modified summarization salience protocol, Atomic Content Units (ACUs), which relies on fine-grained semantic units and allows for high inter-annotator agreement. 2) We curate the Robust Summarization Evaluation (RoSE) benchmark, a large human evaluation dataset consisting of over 22k summary-level annotations over state-of-the-art systems on three datasets. 3) We compare our ACU protocol with three other human evaluation protocols, underscoring potential confounding factors in evaluation setups. 4) We evaluate existing automatic metrics using the collected human annotations across evaluation protocols and demonstrate how our benchmark leads to more statistically stable and significant results. Furthermore, our findings have important implications for evaluating large language models (LLMs), as we show that LLMs adjusted by human feedback (e.g., GPT-3.5) may overfit unconstrained human evaluation, which is affected by the annotators' prior, input-agnostic preferences, calling for more robust, targeted evaluation methods.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

优化组合结构是许多现实世界中的核心，例如生命科学中遇到的问题。例如，抗体设计中涉及的关键步骤之一是在蛋白质序列中找到氨基酸的排列，以改善其与病原体的结合。由于极大的搜索空间和非线性目标，很难对抗体进行组合优化。即使对于适度的抗体设计问题，蛋白质的序列长度为11，我们也面临着超过2.05 x 10^14结构的搜索。应用传统的增强学习算法，例如Q-学习算法来组合优化，导致性能差。我们提出了结构化Q学习（SQL），这是Q学习的扩展，该Q学习结合了结构性先验，以进行组合优化。使用分子对接模拟器，我们证明了SQL可以找到高结合能序列，并在八个具有挑战性的抗体设计任务上对基准的表现良好，包括设计SARS-COV的抗体。

我们介绍了一项对自然语言（NL）推理的人类通知，开放域和逻辑上复杂且多样的数据集，配备了一阶逻辑（fol）注释。对开本由1,435个示例（独特的结论）组成，每个示例与487组前提之一搭配，这些场所作为规则，可用于演绎理由，以理解每个结论的有效性。前提和结论的逻辑正确性是通过其平行注释来确保的，这些注释会自动由我们的FOL推理引擎验证。除了主要的NL推理任务外，对开本中的NL-FOL对自动构成了使用FOL作为逻辑形式的新的NL-FOL翻译数据集。我们对广泛的实验系统地评估了对中型语言模型（BERT，ROBERTA）进行微调的FOL推理能力，并且在大型语言模型（GPT-NEOX，OPT，OPT，GPT-3，Codex）上促成了很少的射击。对于NL-FOL翻译，我们尝试使用GPT-3和Codex。我们的结果表明，公开可用的最强大的大语言模型之一（LLM），GPT-3 Davinci，仅比随机结果略好，而在一部分集的一部分中，该模型尤其不好，并且在预测该模型方面尤其不好。纠正虚假和未知结论的真实价值。我们的数据集和代码可在https://github.com/yale-lily/folio上找到。

尽管在训练有素的语言模型方面取得了进展，但缺乏用于预训练的句子表示的统一框架。因此，它要求针对特定方案采用不同的预训练方法，并且预培训的模型可能受到其普遍性和表示质量的限制。在这项工作中，我们扩展了最近提出的MAE风格的预训练策略RELOMAE，以便可以有效地支持各种句子表示任务。扩展的框架由两个阶段组成，在整个过程中进行了逆转录。第一阶段对通用语料库进行了逆转，例如Wikipedia，BookCorpus等，从中可以从中学习基本模型。第二阶段发生在特定于领域的数据上，例如Marco和NLI，在该数据中，基本模型是基于逆转和对比度学习的。这两个阶段的训练前输出可能会服务于不同的应用，其有效性通过全面的实验验证。具体来说，基本模型被证明对零射击检索有效，并且在贝尔基准上取得了显着的性能。继续进行预训练的模型进一步受益于更多的下游任务，包括针对马可女士的特定领域的密集检索，自然问题以及句子嵌入式标准STS的质量和延性端的转移任务。这项工作的经验见解可能会激发预训练的句子代表的未来设计。我们的预培训模型和源代码将发布给公共社区。

传统的视听模型具有独立的音频和视频分支。我们设计了一个统一的音频和视频处理模型，称为统一音频 - 视听模型（UAVM）。在本文中，我们描述了UAVM，报告其在VGGSOUND上的新最新音频事件分类精度为65.8％，并描述模型的有趣属性。

机器学习（ML）具有改善医疗保健的巨大希望，但至关重要的是要确保其使用不会传播或扩大健康差异。一个重要的步骤是表征ML模型的（联合国）公平性 - 它们在人群的亚组中的表现趋势不同，并了解其潜在机制。当ML模拟培训数据中不正确相关性的基本预测时，就会出现算法不公平，快捷学习的潜在驱动力。但是，诊断这种现象很困难，尤其是当敏感属性与疾病有因果关系时。使用多任务学习，我们提出了第一种评估和减轻快捷方式学习的方法，作为临床ML系统公平评估的一部分，并证明了其在放射学和皮肤病学中的临床任务中的应用。最后，我们的方法揭示了捷径对不公平不公平负责的情况，强调了对医疗AI中的公平缓解的必要性。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

求职面试通常是高风险的社交场所，需要专业和行为技巧才能令人满意。专业的工作面试培训师会根据公共标准提供有关显示行为的教育反馈。对于提高工作面试所需的行为技能，这种反馈可能会有所帮助。产生此类反馈的技术方法可能是工作面试培训的嬉戏且低调的起点。因此，我们通过基于生成的对抗网络（GAN）的方法扩展了交互式虚拟工作面试培训系统，该方法首先检测到行为弱点并随后产生个性化的反馈。为了评估生成的反馈的有用性，我们使用求职培训系统的模型进行了一项混合方法试点研究。总体研究结果表明，基于GAN的产生的行为反馈很有帮助。此外，参与者评估反馈将改善他们的工作面试绩效。

多传感器融合对于准确可靠的自主驾驶系统至关重要。最近的方法基于点级融合：通过相机功能增强激光雷达点云。但是，摄像头投影抛弃了相机功能的语义密度，阻碍了此类方法的有效性，尤其是对于面向语义的任务（例如3D场景分割）。在本文中，我们用BevFusion打破了这个根深蒂固的惯例，这是一个有效且通用的多任务多任务融合框架。它统一了共享鸟类视图（BEV）表示空间中的多模式特征，该空间很好地保留了几何信息和语义信息。为了实现这一目标，我们通过优化的BEV池进行诊断和提高视图转换中的钥匙效率瓶颈，从而将延迟降低了40倍以上。 BevFusion从根本上是任务不合时宜的，并且无缝支持不同的3D感知任务，几乎没有建筑变化。它在Nuscenes上建立了新的最新技术，在3D对象检测上获得了1.3％的MAP和NDS，而BEV MAP分段中的MIOU高13.6％，计算成本较低1.9倍。可以在https://github.com/mit-han-lab/bevfusion上获得复制我们结果的代码。